Il Fallimento dell'Esattezza
Sebbene un polinomio di alto grado possa passare per ogni punto dati, spesso genera oscillazioni simili a quelle di Runge. Queste ampie oscillazioni non hanno nulla a che vedere con il processo fisico sottostante. Pertanto è irragionevole richiedere che la funzione approssimante coincida esattamente con i dati, specialmente quando le misurazioni sono soggette a varianza.
Definire il 'Miglior' Adattamento: Le Tre Norme
Per approssimare, dobbiamo definire una funzione di errore $E$. Il modo in cui misuriamo la "vicinanza" cambia completamente il risultato:
Si cerca di minimizzare l'errore massimo possibile:
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
Svantaggio: L'approccio minimax assegna generalmente troppo peso a un dato che è notevolmente errato.
La somma delle differenze assolute:
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
Svantaggio: La funzione valore assoluto non è derivabile allo zero, e potremmo non riuscire a trovare soluzioni analitiche a questa coppia di equazioni.
Il metodo standard nell'analisi numerica, elevando al quadrato gli scarti:
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
Questo crea una superficie regolare e differenziabile dove il calcolo può trovare facilmente un minimo globale.
Vincoli Analitici
Scegliere una metrica è un equilibrio tra logica e calcolo. Ad esempio, il metodo della deviazione assoluta non dà abbastanza peso a un punto che si discosta notevolmente dall'approssimazione, mentre $L_2$ offre una soluzione robusta che penalizza fortemente gli outlier senza essere interamente governata da un singolo dato anomalo.